The Functionalizer: Lossless Functional Decomposition for Subword Tokenization
无损函数分解子词分词：将大小写/变音/重复编码为可逆操作符
🧭 子词分词 · 函数分解
Center for Transportation & Logistics, Massachusetts Institute of Technology
提出 Functionalizer 预分词框架，将大小写、变音、字符重复无损分解为 Unicode 操作符前缀，显著减小词汇量并提升代码生成质量
📌 工作参考价值（4 点）
- 面向多语言或 UGC 场景（跨境电商商品标题、评论、搜索 query），将大小写、重音、字符重复等表面变化从词汇表中剥离，用可逆操作符编码，可显著压缩词汇表、降低嵌入参数，且不丢失信息。
- Functionalizer 是可插拔的预分词器，能无缝接入现有 BPE/WordPiece 流程，工程实现成本低；可先在离线语料上验证词汇压缩率和下游任务（如 query 理解、CTR 模型）的 AUC 变化。
- 字符重复操作符对 UGC 中常见的情感强调（如“好好好”“赞赞赞”）有直接借鉴意义，可减少不同重复次数 token 的数量，避免词汇碎片化。
- 对代码生成或结构化文本任务，该方法通过保留结构信息提升语法有效性，提示我们在处理电商领域结构化数据（如商品参数模板、广告文案规则）时，可以尝试显式建模格式变化而非依赖模型隐式记忆。